Faithful Where It Can Be Checked: Auditing a Reflection Agent Against Its System Prompt in a Randomized Trial
在随机试验中审计反思智能体对系统提示的忠实度
🧭 Agent 指令遵循审计与行为归因
University of Virginia · Stanford University · NAVER Cloud
审计 GPT-4o 反思智能体发现其仅遵守可检查规则，软性指令被违背且重复追问决策与更差结果相关
📌 工作参考价值（4 点）
- 把 system prompt 中的软性指令（不奉承、温和挑战、适度追问）转成可自动校验的硬约束：上线前用分类器或规则计数器检测 praise/challenge/push 频次，或通过约束解码、奖励模型做实时监控，避免依赖模型自觉。
- 建立对话行为的离线审计流水线：用 LLM 标注日志并与人类标注对齐，计算指令遵循率；在随机实验中把行为指标与业务结果关联，定位真正有害的行为模式，而不是只看最终满意度。
- 注意重复追问的负面效应：在电商导购、客服或推荐 Agent 中，用户犹豫时不要无限追问，应设置最大追问次数或 fallback（给出默认选项/降低决策负担），否则可能增加用户怀疑和流失。
- 提示词工程应优先写可自动验证的指令（长度、格式、工具调用、选项约束），对风格类要求单独加评测器；若无法自动检查，至少要在小流量实验中做行为审计再放量。